Oké, oké.
Ik denk dat het tijd is dat we een aantal van deze vaardigheden gaan oefenen in
plaats van alleen over theorie te praten, want ik weet dat alles er op dit moment super ingewikkeld uitziet.
Je denkt dat je om een expert op het gebied van machine learning te zijn, een Ph. D. en je moet heel, heel
slim zijn met wiskunde en statistiek.
Maar vaak is dat niet echt het geval.
Dus in deze video wil ik je laten zien wat het eigenlijk betekent om machine learning of gegevensomvang te doen.
Laten we het in deze Machine Learning 101 hebben over wat een expert op het gebied van machine learning doet.
Het eerste dat een persoon doet, is meestal importeren.
De gegevens.
Dat wil zeggen, we hebben een soort CSV-bestand en we gaan die gegevens importeren en we weten hoe we dat met Python
moeten doen, toch?
We importeren het CSFI-gegevensbestand zodat we het in ons programma kunnen gebruiken.
En maak je geen zorgen, dit zijn de stappen die we je echt gaan laten zien wanneer we ons aanstaande project
doen.
Dus het eerste is om de gegevens vervolgens te importeren, wat doen we?
Wel, we maken de gegevens schoon.
Dat wil zeggen, in een ideale wereld hebben we perfecte gegevens, alle kolommen, alle rijen van een CSFI-bestand zijn ingevuld
en alles is perfect, maar dat is vaak niet het geval.
Soms ontbreken er labels, soms ontbreken cellen of gegevens en soms hebben we gewoon
onbruikbare gegevens.
Dat is echt heel erg.
We maken de gegevens dus idealiter schoon, zodat we ze, wanneer we ze later gebruiken, geen fouten zullen geven of
slechte voorspellingen doen.
Nu, nummer drie.
Wat doet een machine learning-expert?
Nou, we hebben de gegevens gesplitst.
En dit is een interessante, we splitsen de gegevens meestal op in wat we een trainingsset en een testset noemen.
Wat betekent dit?
Nou, het splitsen van de gegevens betekent gewoon dat we besluiten dat we, laten we zeggen, honderd
rijen Excel hebben en we besluiten dat de 80 rijen onze trainingsset worden terwijl we de machine geven om van te leren.
En dan zullen de laatste 20 rijen de testset zijn, omdat we de machine moeten vertellen of het antwoord
goed of fout is.
We hebben dus een manier nodig om met onze reeds bestaande gegevens te testen of ons model goed of slecht is.
Nogmaals, dit is iets dat we zullen onderzoeken.
Maar meestal splits je je gegevens, je Excel-sheet, op in een trainingsset, wat we als input gebruiken, en dan de
testset wat we gebruiken om de output te testen die die machine learning-functie ons geeft.
En dat is heel gemakkelijk om te doen.
We besluiten gewoon, hé, 80 procent van de gegevens wordt een trainingsset en 20 procent is de test die
tot nu toe is opgezet.
Deze drie dingen zijn vrij eenvoudig, toch?
En zoals we zullen zien, zijn ze vrij eenvoudig.
Vervolgens maken we een model.
Oké, deze klinkt heel, heel moeilijk, toch?
We zijn net overgegaan van het splitsen van gegevens naar plotseling creëren we deze functie, dit model dat
ons programma maakt.
Maar het grappige is dat je hoogstwaarschijnlijk een algoritme importeert als je een model maakt.
Je gaat het algoritme niet helemaal zelf schrijven.
Meestal gebruik je een bibliotheek zoals Cycad Learn, die we eigenlijk gaan gebruiken om gewoon een import uit te
voeren en dan te beslissen welk algoritme je wilt gebruiken, zoals beslisbomen of K naaste buur.
En we zullen zien hoe we dat kunnen doen in een komende oefening.
Dus dat is heel fijn.
Iemand heeft al een algoritme voor ons gebouwd dat het model maakt op basis van onze trainingsset.
En de lopende grap is dat wanneer mensen denken aan machine learning-expert, ze denken aan al deze wiskundige
vergelijkingen die mensen doen.
Maar meestal zijn het mensen die gewoon uit een bibliotheek een algoritme importeren.
Dat is het.
Een oneliner.
Wat denk je dat we doen?
Nou, we controleren de output, toch?
We maken het model dat de functie is, we hebben de invoer, dat is de
trainingsset, en dan controleren we de uitvoer van dit model met onze testset.
Dus de testset, we gaan zeggen, komt de output overeen met wat we verwachtten?
Dus als we de output hebben gecontroleerd, wat doen we dan?
Wel, we verbeteren, dus hoogstwaarschijnlijk zal het de eerste keer niet helemaal goed komen.
Dus op basis van een testset zeggen we, hé, we kunnen vast nog wel iets verbeteren.
Dus als expert op het gebied van machine learning zou je het extra input kunnen geven.
Dat is misschien een extra kolom in het Excel-bestand.
Of misschien wilt u het model of het algoritme dat u hebt gebruikt om dit model te maken, wijzigen.
Dat is het.
Dit zijn de zes stappen van wat je doet en je herhaalt deze stappen gewoon.
Nu komen we hierop terug en ik zal hiernaar linken in de bron, zodat je het altijd in je
achterhoofd kunt hebben.
Maar nu leer je gewoon iets heel, heel fundamenteels.
Facebook zie je hier.
Dit is ongeveer hoe ze hun machine learning-pijplijn runnen.
En dit diagram zou nu logisch moeten zijn.
Alleen al op basis van die zes stappen waar we het over hadden, definiëren we hun doelen.
Dat wil zeggen: wat willen we bereiken?
Wij verzamelen de gegevens.
Wij geven de gegevens door.
Dat wil zeggen, we maken het schoon.
We splitsen het op in trainingsdata en testdata.
Vervolgens doen we modelcreatie en experimenteren we met verschillende algoritmen.
En dan testen we eindelijk onze gegevens, kijken hoe nauwkeurig deze zijn op basis van onze testgegevens.
En dan gaan we gewoon terug en proberen verschillende dingen totdat ons model of onze functie in overeenstemming is met wat we als
doel hebben gedefinieerd.
Is dat niet cool?
Je leert gewoon hoe de machine learning-structuur van Facebook werkt.
Laat me je één vraag stellen voordat ik deze video beëindig, wat denk je dat het moeilijkste deel van
dit hele proces is?
Ik liet het heel, heel gemakkelijk klinken, toch.
Denk er over na.
Klaar voor het antwoord.
Het moeilijkste is om de gegevens te pakken te krijgen, want hoe meer gegevens we hebben, hoe beter, hoe meer input
we hebben, hoe meer trainingssets we kunnen hebben, zodat we het model kunnen verbeteren.
En ja, we kunnen beslissen welk algoritme we moeten gebruiken om een model te maken, welke input we moeten gebruiken tijdens
de trainingsset, maar hoe meer gegevens we hebben, hoe meer opties we hebben als machine learning-experts.
En het is heel moeilijk om goede data te verzamelen of wat we dataset noemen, en bedrijven als
Google en Facebook zijn echt heel waardevol omdat zij de enigen zijn die zoveel data kunnen verzamelen.
En daarom is machine learning ontwikkeld door deze bedrijven die over grote hoeveelheden gegevens beschikken, omdat
jij en ik gewoon niet genoeg gegevens hebben om machine learning echt de moeite waard te maken.
De meeste bedrijven hebben machine learning niet echt nodig of kunnen zelfs goede machine learning implementeren omdat ze
niet genoeg gegevens hebben.
Je hebt grote bedrijven zoals Amazon nodig om machine learning te gebruiken, omdat zij de enigen zijn die toegang hebben tot
die gegevens.
En daarom zijn ze zo waardevol.
Ze kunnen hun model delen.
Het maakt ze niet uit, maar ze houden hun gegevens meestal privé, want dat geeft hen een
concurrentievoordeel.
Oke.
Dus nu kennen we de stappen van machine learning.
De volgende is om te leren welke tools we kunnen gebruiken om deze stappen uit te voeren, zodat we eindelijk kunnen beginnen met
het leren en bouwen van onze eigen machine learning-modellen.
Ik zie wel in de volgende, Bhabhi.